Joint Distribution(결합 분포)

두 개 이상의 확률 변수를 동시에 고려해서 함께 나타날 확률을 나타내는 분포.

CDF: $F (x, y) = P (X \leq x, Y \leq y)$
PMF: $P (x, y) = P (X = x, Y = y)$
PDF: $f (x, y) = P ((x, y) \in B) = \iint_{B} f (x, y) d x d y$ : B라는 2차원 도형 면적에 대해서 이중 적분하는 것과 같다.
- CDF의 미분이므로, $f_{X, Y} (x, y) = \frac{\partial ^{2}}{\partial x \partial y} F (x, y)$

⇒ 만약 각 확률 변수들이 독립이었다고 하면 각각의 확률(Marginal Distribution)의 곱으로 나타낼 수 있다. 이는 필요충분조건이다. 즉,

G (x, y) = G_{X} (x) G_{Y} (y) for all (x, y) ⟺ Independence

: $G$ 는 CDF, PMF, PDF 모두에 대한 함수.

Marginal Distribution

위와 같이 결합 분포가 주어졌을 때, 특정 확률 변수 하나나 또는 일부 변수들의 분포를 **Marginal Distribution(=주변 분포)**라고 한다.

마찬가지로 CDF, PMF, PDF 모두 존재한다.

전체 확률의 법칙과 비슷하게(전체 확률의 법칙을 이용해서 구해도 동일) 주변 분포를 이용해서 구하면

Marginal PMF: $P (X = x) = \sum_{y} P (X = x, Y = y)$
Marginal PDF: $f_{X} (x) = \int_{- \infty}^{\infty} f_{X, Y} (x, y) d y$ : 함수가 범위에 따라 나누어져 있다면 주의해서 범위를 나누어 적분해야 함.

베르누이 확률 변수 $X$ 와 $Y$ 에 대해서

	$Y = 0$	$Y = 1$	$P_{X}$
$X = 0$	$2/6$	$1/6$	$P_{X} (X = 0) = 3/6$
$X = 1$	$2/6$	$1/6$	$P_{X} (X = 1) = 3/6$
$P_{Y}$	$P_{Y} (Y = 0) = 4/6$	$P_{Y} (Y = 1) = 2/6$	null
모든 확률변수의 치역에 대해 각각의 주변 확률을 곱했을 때 결합 확률과 동일하므로 독립이라고 할 수 있다.

적분을 하는 공간(2차원이라면 평면)에 대해서, 그 공간 도형이 확률 변수들이 서로 종속적으로 만들어진다면 독립적이지 않다고 볼 수 있다. ⇒ ex) $X^{2} + Y^{2} \leq 1$ 이라는 공간에 대해서 적분: $X$ 가 결정되면 $Y$ 의 범위가 제한됨.

Conditional Distribution

조건 확률 변수

Y ∣ X

의 Distribution을 구하는 것.

$X$ 의 값을 안다고 할 때, $Y$ 의 값이 어떻게 결정될 지에 대한 분포를 구하는 것.

만약 $X$ 와 $Y$ 가 독립이라면, 조건 없는 $Y$ 의 확률 분포와 $Y ∣ X$ 의 확률 분포가 같아야 한다. 다르다면, $X$ 값을 아는 것이 새로운 정보를 준다는 의미이므로 독립이 아니다.

Conditional PDF: $f_{Y ∣ X} (y ∣ x) = \frac{f _{X, Y} ( x , y )}{f _{X} ( x )} = \frac{f _{X ∣ Y} ( x ∣ y ) f _{Y} ( y )}{f _{X} ( x )}$ : Bayes' Theorem를 적용하고 극한을 취한 것과 동일하다. 확률 밀도이긴 하지만, 확률처럼 근사해 극한을 취하고 계산한다.
- $X$ 는 이미 아는 값이다. 주어진 값 $X = x$ 에 대한 $Y$ 의 확률 분포를 나타내는 것이므로, $X$ 를 상수 취급할 수 있다.
- 따라서, 해당 함수식 중 변수는 $Y$ 뿐이라 할 수 있다. (정확히는 $Y ∣ X = x$ )